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(57) Abstract: The invention relates to a device for detecting and localising objects. The inventive device comprises a 3D camera for 
recording three-dimensional situation images of an area to be monitored; first means for evaluating the three-dimensional situation 
images using suitable object detection methods for determining an object in the area to be monitored and the position of the object 
in said area; a 2D camera for recording two-dimensional situation images of the region in the area to be monitored in which the 
position of the object has been determined; and second means for evaluating the two-dimensional situation images using suitable 
object detection methods for redetermining the object in the area to be monitored. 

(57) Zusammenfassung: Eine Vorrichtung zur Erkennung und Lokalisiening von Objekten umfasst eine 3D-Kamera zur Aufhahme 
von dreidimensionalen Situationsbildern eines zu iiberwachenden Raums; erste Mittel zum Auswerten der dreidimensionalen Situ- 
ationsbilder mittels geeigneter Objekterkennungsverfahren zur Bestimmung 
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Sicherheitsvorrichtung fur ein Fahrzeug 

Einleitung 

Die vorliegende Erfindung betrifft eine Sicherheitsvorrichtung fQr ein Fahrzeug, 
insbesondere eine Vorrichtung zur Erkennung und/oder Lokalisierung von 
Objekten bzw. Personen im Bereich eines Fahrzeugs. Eine solche Vorrichtung 
kann beispielsweise in einem Passagierruckhaltesystem zur Steuerung eines 
5 oder mehrerer Airbags, in einem Komfortsystem (zum automatischen Einstellen 
von KopfstOtzen und/oder Fahrzeugsitzen und/oder ROckspiegeln, etc.) oder in 
einem System zur Unfallvermeidung eingesetzt werden. Die Erfindung betrifft 
ebenfalls ein Verfahren zur Erkennung und/oder Lokalisierung von Objekten 
bzw. Personen. 

10 Um bei einem Verkehrsunfall die Verletzungsrisiken fOr die Fahrzeuginsassen 
zu senken, werden modeme Fahrzeuge im allgemeinen mit einem aktiven 
PassagierrOckhaltesystem ausgestattet. Ein solches aktives PassagierrQckhal- 
tesystem umfasst einen oder mehrere Airbags, die bei einem Aufprall des 
Fahrzeugs blitzschnell aufgeblasen werden und die von dem Passagier bei dem 

15 Aufpralf freigegebene Energie aufnehmen, sowie gegebenenfalls Gurtstraffer 
o.a.. 

Da ein Airbag wie z.B. ein Frontalairbag mit sehr hohen Geschwindigkeiten 
(200 bis 300 km/h) aus dem Armaturenbrett bzw. dem Pralltopf des Lenkrades 
austritt, kann der Passagier, bei entsprechend ungOnstiger Sitzhaitung, gege- 

20 benenfalls Verletzungen durch den ausldsenden Airbag erleiden. Um dies zu 
vermeiden hat man mikroprozessorgesteuerte Ruckhaltesysteme mit mehreren 
Betriebsmoden entwickelt, die eine Anpassung verschiedener Ausloseparame- 
ter des Ruckhaltesystems in Abhangigkeit u.a. der Position des Passagiers auf 
dem Fahrzeugsitz oder seiner Statur ermoglichen, wie z.B. der Aufblaszeit- 

25 punkt, die Aufblasgeschwindigkeit und/oder das Aufblasvolumen des Airbags. 

Damit eine solche Anpassung der AuslQseparameter des ROckhaltesystems 
durch den Mikroprozessor ermSglicht wird, muss dieser natOrlich mit verschie- 
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denen, die Sitzposition oder die Statur des jeweiligen Passagiers betreffenden 
Parametern versorgt werden. Ein derartiges Passagierruckhaltesystem muss 
folglich rriit einer Vorrichtung zum Ermitteln eben dieser Parameter ausgerustet 
sein. 

5 Bekannte Vorrichtungen zum Ermitteln der Statur bzw. der Sitzposition eines 
Passagiers basieren beispielsweise auf der Ermittlung der Gewichtsverteilung 
des Passagiers in dem Sitz. Anhand der ermittelten Gewichtsverteilung lassen 
sich anhand statistischer Korrelationsfunktionen RGckschlUsse auf die zu 
ermittelnden Parameter Ziehen. 

10 Einen vollig anderen Ansatz zur Erkennung einer Sitzbelegung verfolgen 
Systeme, die mittels bildgebender Systeme eine Prasenz und gegebenenfalls 
eine Sitzposition eines Passagiers ermitteln. Bei derartigen Systemen wird der 
Innenraum des Fahrzeugs mittels einer oder mehreren Kameras Gberwacht und 
das aufgenommene Videosignal mittels geeigneter Bildverarbeitungsverfahren 

15 ausgewertet. Durch den Einsatz moderner CCD oder CMOS Kameras mit 
hoher Auflosung kann mit solchen Systemen eine verhaitnismaSig genaue 
Objekterkennung erreicht werden, d.h. es kann verhaltnismaBig genau unter- 
schieden werden, ob der Fahrzeugsitz unbesetzt ist oder ob er durch einen 
Kindersitz oder durch einen Passagier besetzt ist. Durch die Ermittlung der 

20 vertikalen Position des Kopfs eines Passagiers kann darfiber hinaus auf die 
Statur des Passagiers geschlossen werden. 

Zur genauen Ermittlung der Sitzposition eines Passagiers wird neben der 
zweidimensionalen Bildinformation zusatzlich eine Tiefeninformation bendtigt, 
d.h. eine Information Ober die Entfernung zwischen der Kamera und dem 
25 interessierenden Objekt (z.B. dem Kopf des Passagiers). Hierzu sind beispiels- 
weise stereoskopische Verfahren bekannt, die aus zwei seitlich versetzt 
aufgenommenen Bildern eine Tiefeninformation errechnen. Eine nach einem 
solchen Verfahren arbeitende Vorrichtung ist beispielsweise aus der 
EP-A-0 885 782 bekannt. 

30 Alternativ zu diesen stereoskopischen Verfahren sind Verfahren bekannt, die 
eine Unscharfe des aufgenommenen Bildes bezUglich einer Brennpunktsebene 
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auswerten. Der Innenraum des Fahrzeugs wird mit einer einzelnen Kamera mit 
vergleichsweise geringer Tiefenscharfe aufgenommen. Ein Objekt, das sich in 
einer von der Brennpunktsebene verschiedenen Ebene befindet ist in dem 
aufgenommenen Bild unscharf abgebildet. Mittels geeigneter Bildverarbeitungs- 
5 verfahren kann diese Unscharfe rechnerisch ermittelt und hieraus auf die 
Entfernung des Objekts zu der Brennpunktsebene geschlossen werden. Ein 
derartiges Verfahren ist beispielsweise in der US-A-6, 198,998 beschrieben. 

Die beschriebenen Verfahren und Vorrichtungen liefern aufgrund der guten 
Auflosung von modernen CCD oder CMOS Kameras gute Ergebnisse bei der 
10 Objekterkennung. Allerdings ist die zu verarbeitende Datenmenge bei solchen 
Systemen insbesondere bei Verwendung von stereoskopischen Verfahren 
verhaitnismSRig groS. Da eine Ermittlung der Position eines Passagiers in 
Echtzeit erfolgen muss, stellen diese Systeme enorme Anforderungen an das 
bildverarbeitende System. 

15 Neben diesen auf der Auswertung von zweidimensionalen Aufnahmen beru- 
henden Vorrichtungen sind Systeme bekannt, die anhand einer Laufzeitmes- 
sung von moduliertem IR-Licht direkt eine Tiefeninformation zu der Bildinforma- 
tion liefern. Solche 3D-Kameras sind beispielsweise aus den Veroffentlichungen 
WO-A-96/15626 und WO-A-98/10255 bekannt. Im Gegensatz zu den oben 

20 beschriebenen 2D-Kameras weisen 3D Kameras eine vergleichsweise geringe 
Auflosung auf, wodurch sich die zu bearbeitende Datenmenge wesentlich 
reduziert. DarOber hinaus liegt die zur Positionsbestimmung des interessieren- 
den Objekts benotigte Tiefeninformation unmittelbar vor. Allerdings bereitet die 
geringe Auflosung einer 3D-Kamera Probleme mit der sicheren Objekterken- 

25 nung. 

Aufgabe der Erfindung 

Aufgabe der voriiegenden Erfindung ist es folglich, ein verbessertes System zur 
Erkennung und Lokalisierung von Objekten vorzuschlagen. 
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Allgemeine Beschreibung der Erfindung 

Diese Aufgabe wird erfindungsgemaS gelost durch eine Vorrichtung zur 
Erkennung und Lokalisierung von Objekten umfassend 

eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern eines 
zu Qberwachenden Raums; 
5 erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 
10 desjenigen Bereichs des zu Qberwachenden Raums, in dem die Lage des 
Objekts bestimmt wurde; und 

zweite Mittel zum Auswerten der zweidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur erneuten Bestimmung des in dem 
zu Qberwachenden Raum vorhandenen Objekts. 

15 Neben der Vorrichtung betrifft die Erfindung ebenfalls ein Verfahren zur Erken- 
nung und Lokalisierung von Objekten, umfassend die Schritte: 

Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu Qber- 
wachenden Raums mittels einer 3D-Kamera, 

Auswerten des ersten, dreidimensionalen Situationsbildes mittels geeigne- 
20 ter Objekterkennungsverfahren zur Bestimmung eines in dem zu Qberwa- 

chenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

Aufnahme eines zweiten, zweidimensionalen Situationsbildes eines be- 
stimmten Bereichs des zu Qberwachenden Raums mittels einer 2D-Kamera, 
25 wobei der bestimmte Bereich dem Bereich des Raumes entspricht in dem 

die Lage des Objekts bestimmt wurde; 

Auswerten des zweiten, zweidimensionalen Situationsbildes zur erneuten 
Bestimmung des vorhandenen Objekts. 
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Altematlv wird die Aufgabe ebenfalls gelost durch eine Vorrichtung zur Erken- 
nung und Lokalisierung von Objekten umfassend 

eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern eines 
zu Qberwachenden Raums; 
5 erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern des zu 

10 Qberwachenden Raums; und 

zweite Mittel zum Auswerten eines bestimmten Bereichs der zweidimensionalen 
Situationsbilder mittels geeigneter Objekterkennungsverfahren zur erneuten 
Bestimmung des in dem zu Qberwachenden Raum vorhandenen Objekts, wobei 
der bestimmte Bereich dem Bereich des Raumes entspricht in dem die Lage 

1 5 des Objekts bestimmt wurde. 

In diesem Fall umfasst das Verfahren zur Erkennung und Lokalisierung von 
Objekten die Schritte Verfahren zur Erkennung und Lokalisierung von Objekten, 
umfassend die Schritte: 

Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu Qber- 
20 wachenden Raums mittels einer 3D-Kamera, 

Auswerten des ersten, dreidimensionalen Situationsbildes mittels geeigne- 
ter Objekterkennungsverfahren zur Bestimmung eines in dem zu Qberwa- 
chenden Raum vorhandenen Objekts und zur Bestimmung der Lage des 
Objekts im Raum; 

25 Aufnahme eines zweiten, zweidimensionalen Situationsbildes des zu Qber- 
wachenden Raums mittels einer 2D-Kamera; 
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Auswerten eines bestimmten Bereichs des zweiten, zweidimensionalen Si- 
tuationsbildes zur erneuten Bestimmung des vorhandenen Objekts, wobei 
der bestimmte Bereich dem Bereich des Raumes entspricht in dem die Lage 
des Objekts bestlmmt wurde. 

5 Die erfindungsgema&e Vorrichtung beziehungsweise das erfindungsgemaSe 
Verfahren verbinden auf vorteilhafte Weise die Vorteile bezOglich der Schnellig- 
keit und der geringen Datenmenge eines 3D-Kamerasystems mit der hohen 
AuflQsung und der dadurch ermoglichten sicheren Erkennung des Objektes von 
2D-Kamerasystemen. In der Tat wird mit der vorgeschiagenen Vorrichtung 

10 zunachst der gesamte zu uberwachende Raum mit Hilfe einer 3D-Kamera 
erfasst und das hierbei gewonnene Bild im Hinblick auf eine erste Objekterken- 
nung ausgewertet. Da die AuflSsung einer 3D-Kamera verhaltnismaliig gering 
ist, sind die zu verarbeitenden Datenmengen entsprechend gering. Die gleich- 
zeitig erhaltenen Tiefeninformationen kdnnen zur Positionsbestimmung unmit- 

1 5 telbar verwendet werden. 

AnschlieSend kann mit der 2D-Kamera beispielsweise lediglich der interessie- 
rende Bereich des zu uberwachenden Raums, d.h. der Bereich in dem die Lage 
des Objekts bestimmt wurde, mit Hilfe der 2D-Kamera erneut erfasst werden. 
Das dabei gewonnene zweidimensionale Bild hoher AuflSsung wird anschlie- 
20 Bend im Hinblick auf eine emeute Objekterkennung verarbertet. In der be- 
schriebenen altemativen Ausgestaltung der Erfindung wird mit der 2D-Kamera 
ein zweidimensionales Bild des gesamten zu Oberwachenden Bereichs aufge- 
nommen aber lediglich der interessierende Bereich des Bildes ausgewertet. 

Die erste Objekterkennung, die auf der Basis des dreidimensionalen Bildes 
25 durchgefOhrt wurde, kann durch diese erneute Auswertung verifiziert werden, 
wodurch der Nachteil der geringen AuflQsung des dreidimensionalen Bildes 
ausgeglichen werden kann. Es ist anzumerken, dass die zu verarbeitende 
Datenmenge bei der Verifizierung der Objekterkennung gegenilber einer 
herkommlichen Objekterkennung im Raum wesentlich verringert ist, da bei 
30 dieser Verifizierung entweder lediglich der interessierende Bereich des Raumes 
erfasst und verarbeitet wird oder lediglich der interessierende Bereich des 2D- 
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Bildes ausgewertet wird. Im Vergleich zu den herkommlichen Objekterken- 
nungsverfahren reduzieren beide Alternativen der Erfindung demnach (auf 
unterschiedliche Art und Weise) die bei der 2D-Objekterkennung zu verarbei- 
tenden Datenmenge. 

5 Das erfindungsgema&e Verfahren zeichnet sich demnach durch eine ausserst 
schnelle Ermittlung der Position eines Objektes und eine hohe Sicherheit der 
Objekterkennung bei gleichzeitig kleinen zu verarbeitenden Datenmengen aus. 

Es ist anzumerken, dass bei der ersten Ausgestaltung der Erfindung die 
Einschrankung des aufgenommenen 2D-Bildbereichs auf den interessierenden 

10 Bereich entweder durch ein Verschwenken der 2D-Kamera oder durch eine 
Zoomfunktion der Kamera erreicht werden kann. Im Gegensatz dazu muss bei 
der zweiten Ausgestaltung die 2D-Kamera weder beweglich ausgestaltet noch 
mit einer Zoomfunktion ausgestattet sein. In der Tat kann der Aufnahmebereich 
der 2D-Kamera demjenigen der 3D-Kamera entsprechen, da die Reduzierung 

15 der zu verarbeitenden Datenmenge softwaremaRig erfolgen kann. Es wird 
lediglich der Teil des aufgenommenen Gesamtbildes verarbeitet, der das zu 
erkennende Objekt enthait. 

Aufgrund der geringen Datenmengen sind die Anforderungen an die Prozessor- 
leistung des Systems entsprechend gering. Dies ermoglicht vorzugsweise die 
20 Implementierung der ersten Mittel zum Auswerten der dreidimensionalen 
Situationsbilder und der zweiten Mittel zum Auswerten der zweidimensionalen 
Situationsbilder in einer gemeinsamen Prozessoreinheit, 

In einer vorteilhaften Ausgestaltung der Vorrichtung sind die 3D-Kamera und 
die 2D-Kamera unmittelbar benachbart angeordnet. Die 3D-Kamera und die 
25 2D-Kamera konnen beispielsweise in einem gemeinsamen GehSuse angeord- 
net sein. Durch eine solche Anordnung werden Parallaxenfehler zwischen den 
aufgenommenen zweidimensionalen und dreidimensionalen Bildern wirksam 
vermieden. AuSerdem wird die Zuordnung der einzelnen Detektionsbereiche 
vereinfacht. 

30 In einer vorteilhaften Ausgestaltung der Erfindung arbeiten die 3D-Kamera und 
die 2D-Kamera in dem gleichen Spektralbereich. Dabei arbeiten beide Kameras 
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vorzugsweise mit einer gemeinsamen Lichtquelle zum Beleuchten des zu 
uberwachenden Raums mit Licht einer in dem Spektralbereich, z.B. einem 
Infrarotbereich, enthaltenen Wellenlange. Hierdurch werden Fehler durch 
unterschiedliche Beleuchtung des zu erkennenden Objekts wirksam verrnieden. 
5 Daruber hinaus kann der Einfluss von Fremdbeleuchtung wesentlich verringert 
werden so dass vereinfachte Algorithmen zur Bildverarbeitung eingesetzt 
werden konnen. 

Die Lichtquelle ist vorteilhaft zusammen mit der 3D-Kamera und der 2D-Kamera 
in einem gemeinsamen Gehause angeordnet. 

10 In einer Anwendung des oben beschriebenen Verfahrens betrifft die Erfindung 
ebenfalls ein Verfahren zur Steuerung eines RQckhaltesystems in einem 
Fahrzeug, umfassend die Schritte: 

Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Bereich 
eines Fahrzeugsitzes, 

15 Erzeugen eines fur die Art und Position des bestimmten Objekts spezifi- 

schen Steuersignals und Obermitteln des Steuersignals an eine Steuerein- 
heit des RQckhaltesystems; 

Auswahlen eines geeigneten Funktionsmodus des RQckhaltesystems auf 
der Basis des ubermittelten Steuersignals. 

20 Die Erfindung wird in diesem Fall zur Klassifizierung einer Sitzbelegung einge- 
setzt, wobei die hohe Erkennungssicherheit des zu erkennenden Objekts, z.B. 
eines Kindersitzes Oder eines Kopfes eines Fahrzeuginsassen, eine sichere 
Klassifizierung der Sitzbelegung erkennt Ein nach dieser Methode arbeitendes 
Ruckhaltesystem kann folglich mit einer besonders geringen Fehlerquote in 

25 einen fur die momentan ermittelte Belegungssituation angemessenen Modus 
geschaltet werden. 

Es ist anzumerken, dass die Positionsbestimmung des Kopfes eines Insassen 
eine Berechnung der Einsitzhohe dieses Insassen ermoglicht. Eine vorteilhafte 
Ausgestaltung des Verfahrens berQcksichtigt diese Hohe des Oberkdrpers bei 
30 der Klassifizierung der Sitzbelegung. In diesem Fall umfasst die Erzeugung 
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eines Steuersignals die Berechnung einer Hohe eines Oberkorpers des Fahr- 
zeuginsassen auf der Basis der Position des Kopfes. 

Die vorliegende Erfmdung kann vorzugsweise auch in einem Verfahren zur 
Unfallverrneidung eingesetzt werden. Ein solches Verfahren zur Unfallvermei- 
5 dung bei einem Fahrzeug umfasst beispielsweise die Schritte: Bestimmen eines 
Objekts und Ermittlung der Lage des Objekts im Bereich einer Fahrerumgebung 
nach dem oben beschriebenen Verfahren und das Einleiten von geeigneten 
MaBnahmen, falls die bestimmte Lage des Objekts einem sicheren Fuhren des 
Fahrzeugs potentiell entgegensteht. 

10 Dieses Verfahren kann beispielsweise eingesetzt werden, um eine ftir das 
FUhren des Fahrzeugs untypische Korperhaltung des Fahrers zu detektieren. 
Eine solche untypische Korperhaltung kann durch eine akute Erkrankung, durch 
GbermQdung oder durch leichtsinniges Verhalten des Fahrers entstehen. 

Bei einer moglichen Ausgestaltung des Verfahrens umfasst das Objekt einen 
15 Korperteil des Fahrers, wobei die geeigneten MaBnahmen eingeleitet werden, 
wenn die Lage des Korperteils in einem Bereich bestimmt wird, der mit einer 
unangebrachten Korperhaltung zum FQhren des Fahrzeugs assoziiert ist. Der 
Korperteil kann z.B. den Kopf des Fahrers umfassen. Falls der Fahrer aufgrund 
einer Erkrankung oder infolge von ObermQdung eine Korperhaltung mit nach 
20 vorne geneigtem Oberkorper einnimmt, befindet sich der Kopf in einer Position, 
die zum sicheren Fuhren des Fahrzeugs nicht geeignet ist. Beim Erkennen 
einer derartigen atypischen Kopfposition konnen nach dem vorliegenden 
verfahren geeignete GegenmaSnahmen eingeleitet werden. 

Eine ahnliche atypische Kopfposition kann auch durch leichtsinniges Verhalten 
25 des Fahrers entstehen, wenn dieser beispielsweise einen Gegenstand vom 
Fahrzeugboden oder von einem RQcksitz des Fahrzeugs aufhebt. Auch eine 
solche Position des Kopfes kann mit dem vorliegenden Verfahren erkannt 
werden und entsprechende MaBnahmen konnen eingeleitet werden. Altemativ 
zu dem Kopf konnen auch andere Korperteile des Fahrers auf atypisches oder 
30 leichtsinniges Verhalten kontrolliert werden. So kann beispielsweise eine 
Bestimmung eines FuSes im Bereich des Armaturenbretts als auBerst gefahrli- 
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che und grab fahrlassige Korperhaltung erkannt werden. Mit der genannten 
Methode lasst sich auch feststellen, falls das Lenkrad von beiden Handen 
losgelassen wird. In all diesen Fallen lassen sich geeignete MaBnahmen wie 
beispielsweise das Erzeugen eines optischen oder akustischen Warnsignals 
und/oder das Auslosen eines Notbremssystems und/oder das Aufzeichnen des 
Fahrerverhaltens und/oder das Auswahlen eines geeigneten Funktionsmodus 
des Ruckhaltesystems einleiten. Hierbei ist zu bemerken, dass insbesondere 
das Aufzeichnen der Fahrerverhaltens bei einem eventuellen Unfall wichtige 
AufschlQsse Qberdie Schuldigkeit des Fahrers liefern kann. 
In einer anderen Ausgestaltung des Verfahrens umfasst das Objekt einen 
Gegenstand, und wobei eine oder mehrere der beschriebenen MaBnahmen 
eingeleitet werden, wenn die Lage des Gegenstands in einem Sichtbereich des 
Fahrers bestimmt wird. Mit einem solchen Verfahren kann beispielsweise ein 
akustischer Warnton erzeugt werden, falls ein grob fahiiassig handelnder 
Fahrer wahrend der Fahrt eine Landkarte studiert oder, beispielsweise bei 
stockendem Verkehr, Zeitung liest. 

Es ist anzumerken, dass fGr das voranstehend beschriebene Verfahren, das 
Kamerasystem vorzugsweise in einem Bereich unmittelbar vor dem Fahrer des 
Fahrzeugs angeordnet ist. 

Eine weitere vorteilhafte Anwendung findet das erfindungsgema&e Verfahren 
bzw. die erfindungsgemaBe Vorrichtung bei der Steuerung eines Precrash- 
Systems, wobei in Abhangigkeit der Art des bestimmten Objekts und seiner 
Lage im AuBenbereich des Fahrzeugs geeignete Sicherheitsmassnahmen 
eingeleitet werden. Ein solches System kann beispielsweise beim Herannahen 
des Fahrzeugs auf ein Hindemis im Frontbereich (bzw. bei Ruckwartsfahrt im 
Heckbereich) ein Notbremssystem auslSsen. In einer anderen Variante kann 
beim Erkennen eines FuBgangers in unmittelbarer Nahe vor dem fahrenden 
Fahrzeug in AuBenairbag gezQndet werden oder die Motorhaube des Fahr- 
zeugs in eine leicht angehobene Stellung verkippt werden, urn Verletzungen 
des FuBgangers zu vermeiden oder zumindest zu verringern. 
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In einer weiteren Anwendung kann die Erfindung bei der Steuerung eines 
Diebstahlwarnsystems in einem Fahrzeug eingesetzt werden. MSgiich ist auch 
der Einsatz in einem komforterhShenden System, bei der verschiedene Kom- 
fortfunktionen an die Einsrtzhohe des jeweiligen Passagiers eingestellt werden. 

5 Es ist anzumerken, dass bei der Kombination mehrerer Anwendungen im 
Fahrzeug mehrere Kameraeinheiten an eine gemeinsame Auswerteelektronik 
angeschlossen sein konnen. So kann beispielsweise eine erste Kameraeinheit 
den Fahrzeuginnenraum zwecks Sitzbelegungserkennung uberwachen wah- 
rend eine zweite Kameraeinheit den AuBenbereich des Fahrzeugs vor dem 

10 Fahrzeug uberwacht und eine dritte Einheit den AuBenbereich hinter dem 
Fahrzeug. 

Es ist weiterhin anzumerken, dass das vorhandene Kamerasystem auch in 
anderen Applikationen oder Anwendungen eingesetzt werden kann. So ist 
beispielsweise eine VideotelefonQbertragung mittels der eingebauten Kamera 
15 denkbar. 

Beschreibung an hand der Figuren 

Im folgenden wird eine Ausgestaltung der Erfindung anhand der beiliegenden 
Figuren beschrieben. Es zeigen: 

Fig.1: schematisch eine Anwendung des erfindungsgemaSen Verfahrens zur 
InnenraumQberwachung in einem Fahrzeug; 
20 Fig.2: einen moglichen Aufbau einer Ausgestaltung einer erfindungsgemaBen 
Vorrichtung; 

Fig. 3: ein Ablaufdiagramm einer Ausgestaltung eines Verfahrens zur Klassifi- 

zierung eine Sitzbelegung; 
Fig.4: eine Verwendung des Verfahrens in einem Precrash-System; 
25 Fig. 5: eine Draufsicht auf das in Fig.4 dargestellte Fahrzeug zur lllustrierung 
der Sichtfelder; 

Fig.6: eine mogliche Einbauvariante einer Ausgestaltung einer erfindungsge- 
maBen Vorrichtung in ein Fahrzeug; 
Fig.7: eine kombinierte Vorrichtung zur AuBen- und InnenQberwachung . 
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In der Fig. 1 wird schematise* der Einsatz einer erfindungsgemafien Vorrich- 
tung bei der InnenraumQberwachung eines Fahrzeugs dargestellt. Eine Vorrich- 
tung 10 zum Erkennen und Lokalisieren eines Objekts ist bei einem solchen 
Einsatz beispielsweise im vorderen Bereich des Fahrzeugs unmittelbar unter- 
halb der Fahrzeugdecke angeordnet. In der dargestellten Ausgestaltung handelt 
es sich urn ein Kameramodul zur Qberwachung der Beifahrerseite, d.h. das 
Sichtfeld der Kamera ist zu der Beifahrerseite hin gerichtet. Alternativ kann die 
Vorrichtung selbstverstandlich derart angeordnet sein, dass das Sichtfeld des 
Kameramoduls zur Fahrerseite hin gerichtet ist. Je nach Anordnung und 
Ausgestaltung des Kameramoduls kSnnen auch beide Fahrzeugseiten und/oder 
der Rucksitzbereich des Fahrzeugs gleichzeitig uberwacht werden. 
Ein moglicher Aufbau eines Kameramoduls 10 ist in der Fig. 2 dargestellt. Es 
umfasst im wesentlichen eine 3D-Kamera 12 mit angeschlossener Elektronik 
14, eine 2D-Kamera 16 mit angeschlossener Elektronik 18 sowie eine geeigne- 
te Beleuchtungsquelle 20 mit zugehSrigem Treiber 22. Die Kameras sind 
vorzugsweise unmittelbar benachbart zueinander angeordnet, so dass Paralla- 
xenfehler zwischen den zweidimensionalen und den dreidimensionalen Bildem 
vermieden werden. Vorzugsweise sind die 3D-Kamera, die 2D-Kamera 16 
sowie die Beleuchtungsquelle 20 in einem gemeinsamen Gehause 24 angeord- 
net, in dem weiterhin die Prozessoreinheit 26 angeordnet ist. Das Modul 10 
kann als vorgefertigte Einheit hergestellt werden, die beim Einbau in das 
Fahrzeug iiber eine spezifische Schnittstelle 28 an die Steuerelektronik eines 
RQckhaltesystems angeschlossen wird. 

Fig. 3 zeigt ein Ablaufdiagramm einer Ausgestaltung des erfindungsgemaSen 
Verfahrens bei der Verwendung zur Airbagsteuerung. Zunachst wird mittels der 
3D-Kamera ein dreidimensionales Bild aufgenommen und ausgewertet 100. 
Kommt diese Objekterkennung zu dem Ergebnis, dass es sich bei dem Objekt 
urn einen Kopf eines Passagiers handelt 120 wird (nach Verifizierung der 
Erkennung mit dem 2D-System 140) einerseits die HShe des Oberkorpers 
berechnet 160 urn eine Klassifizierung des Passagiers vorzunehmen 180 und 
andererseits die Position des Kopfes verfolgt 200, urn eine Bestimmung der 
Sitzposition durchzufuhren 220. 
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Handelt es sich bei dem erkannten Objekt nicht urn einen Kopf eines Passa- 
giers sondern urn einen Kindersitz 240, so wird die Sitzbelegung nach Verifizie- 
rung mit dem 2D-System 260 als Kindersitzbelegung klassifiziert und entspre- 
chend der Airbag in einen hierfur geeigneten Modus geschaltet. 

5 Die Fig. 4 und Fig. 5 zeigen den Einsatz einer Vorrichtung bei der Steuerung 
eines Precrash-Systems. An geeigneten Stellen eingebaute Kameramodule 
Qberwachen den Bereich vor bzw. hinter dem Fahrzeug urn beim Herannahen 
des Fahrzeugs an ein Hindernis entsprechende Schutzmassnahmen einzulei- 
ten. Auch eine Oberwachung des Bereichs seitlich des Fahrzeugs ist darge- 

10 stellt. 

In den Figuren 6 und 7 wird ein kombiniertes Modul zur AuBen- und Innensen- 
sierung sowie eine mogliche Einbauvariante in einem Fahrzeug dargestelit. In 
dem kombinierten System sind verschiedene Gruppen bestehend aus 3D- 
Kamera, 2D-Kamera und Beleuchtung an eine einzige Auswerteeinheit ange- 
1 5 schlossen. Hierdurch kann eine erhebliche Platzeinsparung erreicht werden. 
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Patentanspriiche 

1 . Vorrichtung zur Erkennung und Lokalisierung von Objekten umfassend 
eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern 
eines zu Qberwachenden Raums; 

erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
5 geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage 
des Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 
desjenigen Bereichs des zu Qberwachenden Raums, in dem die Lage des 
1 0 Objekts bestimmt wurde; und 

zweite Mittel zum Auswerten der zweidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur erneuten Bestimmung des in 
dem zu Qberwachenden Raum vorhandenen Objekts. 

2. Vorrichtung zur Erkennung und Lokalisierung von Objekten umfassend 

15 eine 3D-Kamera zur Aufnahme von dreidimensionalen Situationsbildern 
eines zu Qberwachenden Raums; 

erste Mittel zum Auswerten der dreidimensionalen Situationsbilder mittels 
geeigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der Lage 

20 des Objekts im Raum; 

eine 2D-Kamera zur Aufnahme von zweidimensionalen Situationsbildern 

des zu Qberwachenden Raums; und 

zweite Mittel zum Auswerten eines bestimmten Bereichs der zweidimensio- 
nalen Situationsbilder mittels geeigneter Objekterkennungsverfahren zur 
25 erneuten Bestimmung des in dem zu Qberwachenden Raum vorhandenen 
Objekts, wobei der bestimmte Bereich dem Bereich des Raumes entspricht 
in dem die Lage des Objekts bestimmt wurde. 

3. Vorrichtung nach Anspruch 1 oder 2, wobei die ersten Mittel zum Auswer- 
ten der dreidimensionalen Situationsbilder und die zweiten Mittel zum Aus- 
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werten der zweidimensionalen Situationsbilder in einer gemeinsamen Pro- 
zessoreinheit implementiert sind. 

4. Vorrichtung nach einem der AnsprQche 1 bis 3, wobei die 3D-Kamera und 
die 2D-Kamera unmittelbar benachbart angeordnet sind. 

5. Vorrichtung nach Anspruch 4, wobei die 3D-Kamera und die 2D-Kamera in 
einem gemeinsamen Gehause angeordnet sind. 

6. Vorrichtung nach einem der AnsprQche 1 bis 5, wobei die 3D-Kamera und 
die 2D-Kamera in dem gleichen Spektralbereich arbeiten. 

7. Vorrichtung nach Anspruch 6, umfassend eine Lichtquelle zum Beleuchten 
des zu uberwachenden Raums mit Licht einer in dem Spektralbereich ent- 
haltenen Wellenlange. 

8. Vorrichtung nach einem der AnsprQche 6 oder 7, wobei der Spektralbereich 
einen Infrarotbereich umfasst. 

9. Vorrichtung nach Anspruch 6, wobei die 3D-Kamera, die 2D-Kamera und 
die Lichtquelle in einem gemeinsamen Gehause angeordnet sind. 

10. Verfahren zur Erkennung und Lokalisierung von Objekten, umfassend die 
Schritte: 

a) Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu 
uberwachenden Raums mittels einer 3D-Kamera, 

b) Auswerten des ersten, dreidimensionalen Situationsbildes mittels ge- 
eigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
uberwachenden Raum vorhandenen Objekts und zur Bestimmung der 
Lage des Objekts im Raum; 

c) Aufnahme eines zweiten, zweidimensionalen Situationsbildes eines 
bestimmten Bereichs des zu Qberwachenden Raums mittels einer 2D- 
Kamera, wobei der bestimmte Bereich dem Bereich des Raumes ent- 
spricht in dem die Lage des Objekts bestimmt wurde; 

d) Auswerten des zweiten, zweidimensionalen Situationsbildes zur emeu- 
ten Bestimmung des vorhandenen Objekts. 
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11. Verfahren zur Erkennung und Lokalisierung von Objekten, umfassend die 
Schritte: 

a) Aufnahme eines ersten, dreidimensionalen Situationsbildes eines zu 
Qberwachenden Raums mittels einer 3D-Kamera, 

b) Auswerten des ersten, dreidimensionalen Situationsbildes mittels ge- 
eigneter Objekterkennungsverfahren zur Bestimmung eines in dem zu 
Qberwachenden Raum vorhandenen Objekts und zur Bestimmung der 
Lage des Objekts im Raum; 

c) Aufnahme eines zweiten, zweidimensionalen Situationsbildes des zu 
Qberwachenden Raums mittels einer 2D-Kamera; 

d) Auswerten eines bestimmten Bereichs des zweiten, zweidimensionalen 
Situationsbildes zur erneuten Bestimmung des vorhandenen Objekts, 
wobei der bestimmte Bereich dem Bereich des Raumes entspricht in 
dem die Lage des Objekts bestimmt wurde. 

12. Verfahren nach Anspruch 10 Oder 11, wobei die 3D-Kamera und die 2D- 
Kamera in dem gleichen Spektralbereich arbeiten. 

13. Verfahren nach Anspruch 12 umfassend den Schritt des Ausleuchtens des 
zu Qberwachenden Raums mit Licht einer in dem Spektralbereich enthalte- 
nen Wellenlange. 

14. Verfahren nach einem der AnsprQche 12 oder 13, wobei der Spektralbe- 
reich einen Infrarotbereich umfasst. 

15. Verfahren zur Steuerung eines RQckhaltesystems in einem Fahrzeug, 
umfassend die Schritte: 

a) Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Be- 
reich eines Fahrzeugs'rtzes nach einem Verfahren gemass einem der 
AnsprQche 10 bis 14, 

b) Erzeugen eines fQr die Art und Position des bestimmten Objekts spezi- 
fischen Steuersignals und Obermitteln des Steuersignals an eine Steu- 
ereinheit des RQckhaltesystems; 



bestAtigungskopie 



WO 03/089277 




PCT/EP03/00238 



c) Auswahlen eines geeigneten Funktionsmodus des RQckhaltesystems 
auf der Basis des Qbermittelten Steuersignals. 

16. Verfahren nach Anspruch 15, wobei das Objekt einen Kindersitz umfasst. 

17. Verfahren nach Anspruch 15, wobei das Objekt den Kopf eines Fahrzeug- 
insassen umfasst. 

18. Verfahren nach Anspruch 17, wobei die Erzeugung eines Steuersignals die 
Berechnung einer Hohe eines OberkSrpers des Fahrzeuginsassen auf der 
Basis der Position des Kopfes umfasst. 

19. Verfahren zur Unfallvermeidung bei einem Fahrzeug, umfassend die 
Schritte: 

a) Bestimmen eines Objekts und Ermittlung der Lage des Objekts im Be- 
reich einer Fahrerumgebung nach einem Verfahren gemass einem der 
AnsprQche 10 bis 14, 

b) Einleiten von geeigneten MaBnahmen, falls die bestimmte Lage des 
Objekts einem sicheren FQhren des Fahrzeugs potentiell entgegen- 
steht. 

20. Verfahren nach Anspruch 19, wobei das Objekt einen Korperteil des 
Fahrers umfasst und wobei die geeigneten MaBnahmen eingeleitet werden, 
wenn die Lage des Korperteils in einem Bereich bestimmt wird, der mit ei- 
ner unangebrachten KOrperhaltung zum FQhren des Fahrzeugs assoziiert 
ist. 

21. Verfahren nach Anspruch 19, wobei das Objekt einen Gegenstand umfasst, 
und wobei die geeigneten MaBnahmen eingeleitet werden, wenn die Lage 
des Gegenstands in einem Sichtbereich des Fahrers bestimmt wird. 

22. Verfahren nach einem der Ansprilche 19 bis 21, wobei das Einleiten von 
entsprechenden MaBnahmen das Erzeugen eines optischen oder akusti- 
schen Warnsignals und/oder das Auslosen eines Notbremssystems 
und/oder das Aufzeichnen des Fahrerverhaltens und/oder das Auswahlen 
eines geeigneten Funktionsmodus des RQckhaltesystems umfasst. 
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23. Verwendung einer Vorrichtung nach einem der AnsprGche 1 bis 9 bei der 
Steuerung eines RQckhaltesystems in einem Fahrzeug, wobei das Ruckhal- 
tesystem in Abhangigkeit der Art des bestimmten Objekts und seiner Lage 
im Innenraum des Fahrzeugs in einen geeigneten Funktionsmodus ge- 

5 schaltet wird. 

24. Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 9 bei der 
Steuerung eines. Precrash-Systems, wobei in Abhangigkeit der Art des be- 
stimmten Objekts und seiner Lage im AuBenbereich des Fahrzeugs geeig- 
nete Sicherheitsmassnahmen eingeleitet werden. 

10 25. Verwendung einer Vorrichtung nach einem der Anspruche 1 bis 9 bei der 
Steuerung eines Diebstahlwarnsystems in einem Fahrzeug. 
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